コンテンツをスキップ

Waldの定理:ベイズ解⇔許容解

Waldの定理とは「固定されたある主観的確率分布のもとでリスクの主観的期待値を最小にする戦略」(ベイズ解)と「主観的確率分布を動かしたときのリスクの主観的期待値全体をそれ以上改善できない戦略」(許容解)が一致するという主張のことである。このモーメントではWaldの定理をたった1枚の図で説明する。
編集
編集

Waldの定理を図にしてみました。φ_iは真実がiである主観的確率を表わし、R_i[ψ]は真実がiであるときの戦略ψの下でのリスクを表わし、φはφ_iを並べたベクトルであり、R[ψ]はR_i[ψ]を並べたベクトルであるとする。Rの像Im Rは凸であると仮定する。

1件の返信 7件のリツイート 23 いいね
返信先: さん

補足。上の方の図はiが1と2しか動かない2次元の場合。n次元でも同様。まじめにチェックしていないが、無限次元の場合も適切な設定のもとでは同様だろう。

1件の返信 3 いいね
返信先: さん

続き。ただし、それらの意味での合理性は、真の確率分布がp_i(x)のどれかでよく近似されることを保証しないし、状態xにおける行動yのリスクの評価値r_i(x,y)が概ね正しいことも保証しません。この点には十分に注意を払うべきだと思います。

1件の返信 1 いいね
返信先: さん

続き。v=[v_i]とv'=[v'_i]についてv≦v'はすべてのiについてv_i≦v'_iとなっていることを意味するとしている。 図を見ればわかるように、Waldの定理は凸集合の「見た目」から直観的にはほぼ明らかな定理になります。(細かい話は意識的に無視している。)

1件の返信 4 いいね
返信先: さん

続き。実際のWald的設定では、「真実がiであること」は「状態Xが確率分布p_i(x)に従っていること」になっており、戦略ψは状態xのときの行動yの確率分布ψ(y|x)を意味し、確率分布がp_i(x)のときの状態xと行動yの組のリスクをr_i(x,y)と書くと~続く

1件の返信 4 いいね
返信先: さん

続き。確率分布p_i(x)でのリスクの期待値は R_i(ψ)=∫dx⌠dy r_i(x,y)ψ(y|x)p_i(x) と書け、リスクの主観的期待値は Σ_i φ_i R_i(ψ) = (φとR_i(ψ)の内積) になります(φ_iはiである主観的確率だった)。

1件の返信 4 いいね
返信先: さん

適当な設定のもとで「固定された主観的確率分布φのもとで主観的期待リスクを最小にする戦略ψ」と「φを動かしたときの主観的期待リスク全体をそれ以上改善できない戦略ψ」が一致するというWaldの定理については、図を描けば「適当な設定は何か」が直観的にわかる仕組みになっています。

1件の返信 3 いいね
返信先: さん

続き。その形式でのWaldの定理は、「誰かが自分の主観的確率分布のもとで決めた最適戦略」(個人的合理性)と「可能な主観的確率分布全体でそれ以上改善不可能な戦略」(集団全体で改善不可能という意味での合理性)が一致することを意味しています。

1件の返信 2 いいね
返信先: さん

確率分布を意味するベクトルφと確率変数を意味するベクトルvの内積は期待値になります。vが戦略ψの函数になっているv=R(ψ)の場合が上で扱った場合です。R(ψ)は戦略ψのもとでのリスク(の確率変数)を意味すると解釈した。函数Rの像が凸ならWaldの定理が成立します。

1件の返信 2 いいね
返信先: さん

続き。ポイントは戦略ψを動かしたときのベクトルR(ψ)の全体が凸集合になることだけであり、戦略ψが具体的に何であるかやリスクR(ψ)が具体的に何であるかはあまり関係ありません。リスクベクトルR(ψ)全体Im Rの凸性から欲しい結果が出て来るという極めてシンプルな話。続く

1件の返信 1 いいね
返信先: さん

インターネットで(英語で)検索するとWald's decision theoryについての解説が色々見つかるのですが、ごちゃごちゃした説明で私には難しく見えたので、自前で設定をシンプルにして、図に描いてみました。

3件の返信 1件のリツイート 3 いいね
返信先: さん

補足:何度も繰り返し述べて来たことですが、以上の意味での「ベイズ解」(主観的確率分布のもとでの期待リスク最小戦略)とベイズ統計は違う話だと思った方がよいと思います。続く

1件の返信 1件のリツイート 3 いいね
返信先: さん

続き。固定された確率モデルと主観的確率分布のもとでの合理的行動に関する話と、異なる確率モデルと様々な事前分布の組の性能を比較する方法を用意しているベイズ統計の話は全然別の方向を向いていると思う。

1件の返信 1件のリツイート 3 いいね
返信先: さん

あ、上の方でR(ψ)と書いたり、R[ψ]と書いたりしていますね。それらは同じものです。一般にリスクを意味する確率変数に値を取る函数Rはψの汎函数(函数の函数)なのでR[ψ]と書いてしまいました。

1件の返信 1 いいね
返信先: さん

リンクメモ A. Wald. An Essentially Complete Class of Admissible Decision Functions (1947)

1 いいね